Sinh ra trong một gia đình thợ may ở Auxerre, (Pháp), và sớm trở nên mồ côi khi lên 8, ông được gửi vào nhà thờ ở Auxerre. Ở đó, Fourier được dạy dỗ bởi các tu sĩ dòng Benedict trong tu viện St. Mark. Sau đó Fourier nhận làm trợ giảng môn toán trong quân đội, nhưng không đủ tư cách vào hội đồng khoa học vì nơi đó chỉ dành cho những người trong gia đình danh giá. Trong một kì thăng nhiệm, Fourier đã thể hiện sự vượt trội của mình và được bổ nhiệm vào École Normale Supérieure năm 1795, ngay sau đó là một vị trí tại Trường Bách khoa Paris (École Polytechnique).